package com.atguigu.bigdata.spark.zzgcore.rdd.operator.action

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Classname Spark_01_RDD_Operator_Action
 * @Description TODO
 * @Date 2023/10/22 21:22
 * @Author zhuzhenguo
 */
object Spark_02_RDD_Operator_Action {
  def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)
    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
    // reduce:聚合RDD中所有元素，先聚合分区内的数据，再聚合分区间数据
    val result: Int = rdd.reduce(_ + _)
    println(result)

    // collect:方法会将不同分区的数据按照分区顺序采集到Driver端内存中，形成数组
    val ints: Array[Int] = rdd.collect()
    println(ints.mkString(","))

    // count: 数据源中数据的个数
    val cnt: Long = rdd.count()
    println(cnt)

    // first: 获取数据源中的第一个
    val first: Int = rdd.first()
    println(first)

    // take：获取N个数据
    val intsTake: Array[Int] = rdd.take(3)
    println(intsTake.mkString(","))

    // takeOrdered:数据排序后取n个数据
    val intsTakeOrdered: Array[Int] = rdd.takeOrdered(3)
    println(intsTakeOrdered.mkString(","))
    sc.stop()
  }
}
